单个4090就能跑，Mistral开源多模态小模型，开发者：用来构建推理模型足够香
单个4090就能跑，Mistral开源多模态小模型，开发者：用来构建推理模型足够香多模态，性能超 GPT-4o Mini、Gemma 3，还能在单个 RTX 4090 上运行，这个小模型值得一试。
来自主题: AI资讯
3809 点击 2025-03-18 19:11
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
多模态，性能超 GPT-4o Mini、Gemma 3，还能在单个 RTX 4090 上运行，这个小模型值得一试。
要知道，过去几年，各种通用评测逐渐同质化，越来越难以评估模型真实能力。GPQA、MMLU-pro、MMLU等流行基准，各家模型出街时人手一份，但局限性也开始暴露，比如覆盖范围狭窄（通常不足 50 个学科），不含长尾知识；缺乏足够挑战性和区分度，比如 GPT-4o 在 MMLU-Pro 上准确率飙到 92.3%。
Sam Altman 又当了一回谜语人。2 月 16 日，他宣布更新了我们的老朋友 GPT-4o，却没说细节。
以 GPT-4o 为代表的实时交互多模态大模型（LMMs）引发了研究者对高效 LMM 的广泛关注。现有主流模型通过将视觉输入转化为大量视觉 tokens，并将其嵌入大语言模型（LLM）上下文来实现视觉信息理解。
在人工智能领域，与AI进行无缝的实时交互一直是开发者和研究者面临的一大挑战。特别是将文本、图片、音频等多模态信息整合成一个连贯的对话系统，更是难上加难。尽管像GPT-4这样的语言模型在对话流畅性和上下文理解上取得了长足进步，但在实际应用中，这些模型仍然存在不足之处：
算起来，距离 5 月 14 日 OpenAI 发布 GPT-4o 高级语音模式已经过去了半年时间。在这期间，AI 实时语音对话已经成为了有能力大厂秀肌肉、拼实力的新战场。
与最先进的开源方法甚至闭源模型 GPT-4o 相比，MMedAgent 在各种医疗任务中实现了卓越的性能。此外，MMedAgent 在更新和集成新医疗工具方面表现出效率。
o1 作为 OpenAI 在推理领域的最新模型，大幅度提升了 GPT-4o 在推理任务上的表现，甚至超过了平均人类水平。o1 背后的技术到底是什么？OpenAI 技术报告中所强调的强化学习和推断阶段的 Scaling Law 如何实现？
LLaMA-Omni能够接收语音指令，同步生成文本和语音响应，响应延迟低至 226ms，低于 GPT-4o 的平均音频响应延迟 320ms。
更好的效果，更低的价格，听起来是不是像梦呓？